Регистрация...

Eserv Forum / E3 / Eserv 3 Mail Server Support / Опять про PopFile и SpamProtexx

wikipost // (v2)
Продукты и услуги Скачать Документация Купить Поддержка Форумы Партнёрам Статьи О компании
Новости
12.10.2009
Переезд завершен
Ситуация следующая: Стоял спамфильтр popFile, к нему на обучение прилепили spamprotexx, прошло не меньше полугода и мы решили отключить popfile и оставить spamprotexx пыхтеть в одиночку. Прихожу на следующий день на работу, проверяю почту и Очудо! спама раза в 4 больше, чем было с включённым popfile'ом. Есть какие-нибудь решения для проверки или может кто-нибудь сталкивался с этим

И второй вопрос к профи: как уже все заметили спам, нынче, приходит обратно в фирму с заполненным поле "от кого" от имён сотрудников работающих в самой фирме, что делать в таком случае?
 
Комментарии к версии 1 (18.11.2009 17:08) [~el_sergano] b17f32ed
АвторДатаТекстtags
pig18.11.2009 18:42
Там ещё и в протоколе отправитель из локальных ставится. Если почтовый домен под вашим управлением, то настраивайте Sender Policy.
wikipost
ac19.11.2009 04:01
el_sergano пишет: Есть какие-нибудь решения для проверки или может кто-нибудь сталкивался с этим

Проверьте заголовки. Может вы "не совсем" выключили PopFile (не через опции, а просто остановили perl), и там идут какие-нибудь popfile_error, приводящие к тому, что PopFile в голосовании участвует, но "поддакнуть", что это спам, никогда не может. Тогда весь спам в inbox и пойдёт с итоговой классификацией "ambiguous".
wikipost
el_sergano20.11.2009 14:38
Уважаемый pig помогите новичку, где можно почитать про sender policy для eserv'a?
wikipost
ac20.11.2009 15:12wikipost
el_sergano20.11.2009 15:21
В логе acSMTP.log переодически маячит это сообщение. Оно означает, что спамфильтр неработает?

<30>
Log started: Fri, 20 Nov 2009 07:02:50 +0300 (acSMTP/3.0, build 8191, 24.03.2008) Eserv key: RU, my company, my user, my user@my company.ru PigMail key: RU, my company, my user, my user@my company.ru MContent key: RU, my company, my user, my user@my company.ru Spamprotexx: my company abuse
Как детектировать неисправность?
wikipost
el_sergano20.11.2009 16:25
По вопросу spamprotexx получилось так, что он почему то перестал работать, после рестарта службы acSMTP спам проходить перестал, но как предотвратить подобные случаи не понятно.
Подскажите пжлста, какие есть механизмы наблюдения за общим состоянием eserva?

Подписка abuse появляется в логе конкретно после перезапуска acsmtp, на сколько это плохо?

Вопрос на 5 баллов: Как и где создать правило, отвергающее письма локальных пользователей полученное извне, т.е. может как то можно отбрасывать письма в спам с IP адресом, не определённым как localnetwork...
Я так понимаю, это то о чём писал PIG, если да, то я врятли такое смогу )).
wikipost
ac20.11.2009 16:38
el_sergano пишет: после рестарта службы acSMTP спам проходить перестал

Может у вас включен ini-cache plugin? (он тогда без перезапуска не видит изменения опций) Или просто он при перезапуске запустил PopFile, если верна моя догадка о неотключенном UsePopfile.

el_sergano пишет: Spamprotexx: my company abuse

Вообще-то там вместо "my company abuse" должно стоять название вашей фирмы из ключа SpamProtexx. Посмотрите spamprotexx.key, который вы получали при покупке — там что, и в самом деле так написано?

el_sergano пишет: Подскажите пжлста, какие есть механизмы наблюдения за общим состоянием eserva?

Сырые логи, стат.отчеты по ним, SNMP-мониторинг, список запущенных задач и сервисов (в веб-интерфейсе или в taskmgr), список активных коннектов... В зависимости от того, что именно и на каком расстоянии хотите наблюдать.
wikipost
ac20.11.2009 16:42
el_sergano пишет: Вопрос на 5 баллов: Как и где создать правило, отвергающее письма локальных пользователей полученное извне, т.е. может как то можно отбрасывать письма в спам с IP адресом, не определённым как localnetwork...
Я так понимаю, это то о чём писал PIG, если да, то я врятли такое смогу )).


Либо добавить свой домен в SMTP[FromEmailNeedAuthList], тогда для прохода через ваш Eserv отправитель, использующий такой домен, должен авторизоваться (по IP или паролем).

Либо, да, SPF. И в нем нет совсем ничего сложного. DNS вашего домена под вашим управлением?
wikipost
el_sergano20.11.2009 17:37
ред: 23.11.2009 10:40
По поводу того, что popfile продолжает коряво выполнять свои обязанности, я сильно сомневаюсь, потому что выключал его через веб оснастку.

По поводу abuse (там что, и в самом деле так написано?)- да, только покупал не я, в spamprotexx.key — сначала какие-то цифробукы потом название моей компании. Насколько я понимаю, abuse это ответ от Eserva и ему явно что-то не нравится, я прав?

Сырые логи — имеется ввиду eserv\data\logs где-то здесь?

да, dns поковырять могу, но про SMTP[FromEmailNeedAuthList] интереснее )), у нас нет механизмов, которые позволили бы отправлять внутрь письма снаружи локальным пользователям.

Где посмотреть INI-cache plugin, те плагины которые можно посмотреть в веб оснастке, на это не похожи.
wikipost
ac20.11.2009 17:53
el_sergano пишет: сначала какие-то цифробукы потом название моей компании.

Да, так и должно быть. Цифробуквы — это собственно ключ.

el_sergano пишет: Насколько я понимаю, abuse это ответ от Eserva и ему явно что-то не нравится, я прав?

Нет, Eserv таких слов не знает. Поэтому очень интересно, как это получается. Может записи реестра у вас испорчены кем-то (загляните в HKLM\SOFTWARE\AGAVA SpamProtexx Srv).
el_sergano пишет: Сырые логи — имеется ввиду eserv\data\logs где-то здесь?

DATA\log\smtp

el_sergano пишет: Где посмотреть INI-cache plugin

Строка
\ Plugin: plugins\ini_cache
в acSMTP\conf\OnStartupPlugins.rules.txt. Если в начале "\ " не стоит, то она действует.
wikipost
pig20.11.2009 19:24
ред: 20.11.2009 19:30
el_sergano пишет: PigMail key: RU, my company, my user, my user@my company.ru

У вас PigMail стоит? Если да, то кэширование INI настраивается в самом INI. Также в дополнение к SPF (глобальному) вы можете использовать локальные политики, настраиваемые отдельным списком и имеющие приоритет над глобальными. А расположение журналов смотрите в документации.

P.S. В PigMail параметры INI кэшируются не вечно, а до конца почтовой сессии. Новые подключения подхватывают уже новые параметры.
wikipost
el_sergano23.11.2009 10:33
ред: 23.11.2009 10:39
Так ли хорош spamprotexx
За выходные спама налетело, просто на троих хватит и что примечательно спам-фильтр работает, но фильтрует очень мало.

Может он переучился? Т.е. слишком много слов оценивается со знаком плюс, а не минус и по этому спам оценивается как нормальная почта?

INI_cache plugin не установлен.

mycompany abuse стоит в реестре, что это вообще обозначает, е-маил не дописан что-ли полностью?
wikipost
el_sergano23.11.2009 10:54
http://www.eserv.ru/SenderID
На этой странице есть 2 ссылки вверху:
23.06.2004 Опубликована Спецификация SenderID на сайте Microsoft

25.06.2004 Та же самая спецификация появилась в индексе сервера IETF: MTA Authentication Records in DNS (Рабочая группа MARID ).

Обе неработают.
wikipost
ac23.11.2009 11:20
el_sergano пишет: Так ли хорош spamprotexx
За выходные спама налетело, просто на троих хватит и что примечательно спам-фильтр работает, но фильтрует очень мало.

Может он переучился?


Система голосования байесов в Eserv была сделана для того, чтобы уменьшить вероятность ложных срабатываний: письмо считается спамом только в том случае, если все участвующие в голосовании фильтры считают письмо таковым. Из этого следует, что отключение одного из фильтров никак не может привести к снижению уровня фильтрации. Наоборот: если PopFile и SpamProtexx вдвоём фильтровали спам хорошо, то по отдельности любой из них будет фильтровать "еще лучше"! (в том смысле, что бОльшее число писем пойдёт в спам, т.к. второй фильтр уже не имеет возможности "не согласиться" с этим).

Поэтому давайте все-таки посмотрим на заголовки писем — что там дописывается фильтрами.

el_sergano пишет: На этой странице есть 2 ссылки вверху:
23.06.2004 Опубликована Спецификация SenderID на сайте Microsoft
25.06.2004 Та же самая спецификация появилась в индексе сервера IETF: MTA Authentication Records in DNS (Рабочая группа MARID ).
Обе неработают.

Это неудивительно, за 5 лет на сайтах Microsoft и IETF могло многое измениться. Нашел новое расположение, поправил ссылки.
wikipost
el_sergano23.11.2009 14:48
ред: 23.11.2009 14:49
Про теорию работы спам фильтрации, я уже догадался, Но практика пока полностью противоречит теории )) и как искать причину такой работы spamprotexx'a я пока не разобрался...

Какие заголовки имеются ввиду? нигде в логах не видел ambigious or error.

Про FromEmailNeedAuthList: т.е. если я напишу триггер (читать с разделением по полям) *@mydomain.ru-*-spam, то получу правило, которое будет работать так: "если отправитель соответствует маске localuser@mydomen.ru и IP определённый в localnetwork, то письмо пройдёт, но если IP адрес не совпадает с localnetwork, то письмо получает статус не прошедшего проверку и не имеет возможности быть обработанным" и куда оно пойдёт дальше?
Физически это попробовать не могу, потому что если возникнут проблемы, то я "морально" пострадаю или постарею)).

Попробовал следующее: создал юзера 123@mydomain.ru; в IP-MAC авторизация создал триггер myIP-*-123-text, в FromEmailNeedAuthList добавил myaddr1@mydomain.ru-123-Get authorization При попытке послать письмо с компьютера myIP на другой адрес, то в клиенте получаю ответ 530 auth needed, а в логе log.txt запись "530 myaddr1@mydomain.ru authorization required Get athorization , дальше quit и goodbye.

Вывод IP авторизация не работает или неправильно настроена?
wikipost
ac23.11.2009 15:06
el_sergano пишет: Какие заголовки имеются ввиду?

Заголовки писем (там где From, To, Subject, и т.д.). Можно посмотреть в почтовом клиенте (например Ctrl+U в ThunderBird'е) или в самих файлах писем. Там в дополнение к стандартным заголовкам дописываются результаты классификации антиспамом — "X-Spam-Status: ... Popfile=... Spamprotexx=...". Что пишется в них у вас?

el_sergano пишет: нигде в логах не видел ambigious or error.

DATA\log\smtp\200911mail_sp.txt — есть такой файл?

el_sergano пишет: Вывод IP авторизация не работает или неправильно настроена?

Приведите строку, которую вы добавили в IpMacAuth.txt и начало SMTP-сессии (какая строка выдается в качестве SMTP-приглашении клиенту, подключающемуся с myIP; это можно взять из лога DATA\log\smtp\200911log.txt или просто с того-же клиента запустить "telnet.exe ip-машины-с-Eserv 25").
wikipost
el_sergano23.11.2009 16:07
ред: 23.11.2009 16:08
ac пишет: DATA\log\smtp\200911mail_sp.txt
- есть, там за 20 дней только 2 совпадения с popfile_error и это было тогда, когда сам спам фильтр был включен, после отключения ничего нет

ac пишет: Заголовки from и to
совпадают, т.е. заполнены абсолютно одинаково — именем локального пользователя, никаких оценочных комментов от спам фильтров в письмах на клиенте не нашёл

ac пишет: IpMacAuth.txt —
"myIP";"*";"123";"пример"

2009-11-23 12:51:04;**myIP**;123@mydomain.ru;220 myserver.ru Eserv/3.4494 ESMTP. Welcome, Local user! MYnetwork Mon, 23 Nov 2009 12:51:04 +0300 2009-11-23 12:51:04;**myIP**;MYnetwork@**mydom**.ru;WhiteList, MYnetwork 2009-11-23 12:51:04;**myIP**;MYnetwork@**mydom**.ru;EHLO **mycomp** 2009-11-23 12:51:04;**myIP**;MYnetwork@**mydom**.ru;250-gate.**mydom**.ru Hello [**myIP**]
А по телнету сбой подключения.
wikipost
Комментарии к этой версии (23.11.2009 16:10) [~el_sergano] 1b06fdf3
АвторДатаТекстtags
ac23.11.2009 17:39
В файле FromEmailNeedAuthList.txt во втором поле поставьте "MYnetwork@mydom.ru". У вас там двойная IP-авторизация получается.

el_sergano пишет: никаких оценочных комментов от спам фильтров в письмах на клиенте не нашёл

Хм. А в файле DATA\log\smtp\200911mail.txt что пишется в пред-предпоследнем поле?
wikipost
el_sergano24.11.2009 10:52
Опишите по этапам как происходит авторизация, почему двойная и именно по IP? Я так понимаю, что первый раз компутер принимается как из mynetwork, а второй раз это должна пройти авторизация пользователя 123, который позволит само действие отправки...
Объясните пжлста, где я ошибаюсь.

ac пишет: что пишется в пред-предпоследнем поле?

Вообще это поле чаще имеет статус spam, чуть реже пусто, ещё реже clear и совсем редко ambigious.

Я так понимаю, что тут записываются тольке те которые прошли спамфильтр?
wikipost
ac24.11.2009 12:01
Последовательность задана в acSMTP\conf\OnThreadConnect.rules.txt. Сначала по IpMacAuth, потом LocalNetworks, потом IpWhiteList.

el_sergano пишет: Вообще это поле чаще имеет статус spam

И после отключения PopFile тоже?

el_sergano пишет: чуть реже пусто

Локальная почта видимо.

el_sergano пишет: совсем редко ambigious

После отключения PopFile вообще не должно быть ambiguous.

el_sergano пишет: Я так понимаю, что тут записываются тольке те которые прошли спамфильтр?

Все, какие дошли до стадии передачи тела письма (которые не были отфильтрованы по IP или по email'ам "конверта"). Т.е. если у вас там сейчас встречатся записи с пометкой 'spam', значит SpamProtexx работает. Загляните в папки 'spam'.
wikipost
el_sergano24.11.2009 13:32
ред: 24.11.2009 13:33
ac пишет: И после отключения PopFile тоже?

Да.

судя по логу DATA\log\smtp\200911mail.txt, при отключённом popfile пометка spam появляется, и пролетают письма с пометкой unclassified.
Как сделать так, чтобы эти письма шли не дальше адресату, а в папку unclassified?, дабы иметь возможность обработать их руками!

ac пишет: Локальная почта видимо.
Нет, пишут снаружи внутрь.
Если конкретный email записан где-то в белый список, то mail получит приписку ckear?

Вопрос по этому MYnetwork@mydom.ru. Это правило будет работать вместе или вместо того фильтра ящик 123; в IP-MAC авторизация создал триггер myIP-*-123-text, в FromEmailNeedAuthList добавил myaddr1@mydomain.ru-123-Get authorization
wikipost
ac24.11.2009 14:06
ред: 24.11.2009 14:07
el_sergano пишет: пролетают письма с пометкой unclassified.

Да, unclassified (т.е. SpamProtexx "не уверен", к какому классу относится письмо — не хватает стат.веса) в случае одинокого антиспама считается не-спамом, а в случае голосования идёт как "воздержался" (тогда другие антиспамы могут отправить его в спам).

el_sergano пишет: Как сделать так, чтобы эти письма шли не дальше адресату, а в папку unclassified?, дабы иметь возможность обработать их руками!


Там есть опция AntispamPopFile[CopyUnclassifiedToTrainer] (хотя название раздела PopFile, опция действует глобально), но это именно копирование, а не перенаправление. Чтобы доставка в ящик назначения отменялась, можно строку 52 файла acSMTP\conf\smtp\OnMessageEnd.rules.txt немножко подкрутить: вместо
| MESSAGE-CLASS =~ unclassified | AntispamPopFile[TrainerEmail] AddRcpt
написать
| MESSAGE-CLASS =~ unclassified | uRCPTLIST 0! AntispamPopFile[TrainerEmail] AddRcpt


el_sergano пишет: Если конкретный email записан где-то в белый список, то mail получит приписку ckear

Нет, оно вообще без явно указанного класса пойдёт. Но обрабатываться будет как не-спам, т.е. как clear.

el_sergano пишет: Это правило будет работать вместе или вместо того фильтра

Вместо. На момент обработки FromEmailNeedAuthList сервер уже "не помнит", что первым вариантом IP-авторизации был 123, т.к. она перебилась другими списками (там, кстати, тоже можно добавить строку для конкретного IP, а не всей подсети).
wikipost
el_sergano24.11.2009 16:43
ред: 24.11.2009 16:56
После добавления фильтра на локальных пользователей, письма счастья извне не проходят... Помогло )).

Теперь осталось понять почему тандем работает эффективнее...

ac пишет: AntispamPopFile[CopyUnclassifiedToTrainer]


AntispamPopFile[CopyUnclassifiedToTrainer] = 1
Если этот параметр включен, то Unclassified письма будут падать в папку Unclassified?

По логу 200911mail.txt видно, что уже 3 письма получили статус Unclassified;-;local , по виду имени отправителя явный спам, а в папку Unclassified INBOX ничего не попало, может чего-то не включено?
wikipost
ac24.11.2009 17:27
el_sergano пишет: Теперь осталось понять почему тандем работает эффективнее

Это уже понятно:
ac пишет: Да, unclassified (т.е. SpamProtexx "не уверен", к какому классу относится письмо — не хватает стат.веса) в случае одинокого антиспама считается не-спамом, а в случае голосования идёт как "воздержался" (тогда другие антиспамы могут отправить его в спам).

Т.е. именно из-за unclassified — недостаточной обученности SpamProtexx у вас.

el_sergano пишет: Если этот параметр включен, то Unclassified письма будут падать в папку Unclassified?

Нет, на email, указанный в AntispamPopFile[TrainerEmail].

el_sergano пишет: в папку Unclassified INBOX ничего не попало

А в inbox к TrainerEmail ?
wikipost
el_sergano25.11.2009 10:53
ред: 25.11.2009 13:25
ac пишет: А в inbox к TrainerEmail ?

К сожалению unclassified@mydom.ru и есть TrainerEmail, на него настроен mail-клиент по IMAP и я физически смотрел на папку INBOX этого ящика, но туда ничего не попадает, где смотреть почему?
wikipost
el_sergano25.11.2009 13:23
http://www.eserv.ru/SpamProtexxPlugin — на этой странице написано, что можно смотреть результат классификации в журнале и ответы Eserv на команду DATA, но единственный лог, позволяющий посмотреть этот результат это 200911mail_sp.txt. К сожалению он перестаёт работать после выключения popfile... Есть ещё что-нибудь подобное?
wikipost
ac25.11.2009 16:11
Ответы на команду DATA см. в логе DATA\log\smtp\200911log.txt. Результат классификации виден в логе 200911mail.txt:
el_sergano пишет: По логу 200911mail.txt видно, что уже 3 письма получили статус Unclassified;-;local


el_sergano пишет: К сожалению unclassified@mydom.ru и есть TrainerEmail, на него настроен mail-клиент по IMAP и я физически смотрел на папку INBOX этого ящика, но туда ничего не попадает, где смотреть почему?

Точно, я был не прав, сказав, что это глобальная опция, извините. Она работает только при включенном PopFile. Отменить эту зависимость можно так: в файле acSMTP\conf\smtp\OnMessageEnd.rules.txt вместо
SMTP[UsePopFile] >FLAG AntispamPopFile[CopyUnclassifiedToTrainer] >FLAG AND | MESSAGE-CLASS =~ unclassified | AntispamPopFile[TrainerEmail] AddRcpt
сделать
AntispamPopFile[CopyUnclassifiedToTrainer] >FLAG | MESSAGE-CLASS =~ unclassified | uRCPTLIST 0! AntispamPopFile[TrainerEmail] AddRcpt
wikipost
el_sergano09.12.2009 13:01
Здраствуйте, со спампротексом стало совсем туго...
После каждого перезапуска сервера почты, spamProtexx стабильно не стартует, это выражается тем, что лог 200912mail всем подряд письмам записывает Unclassified.

acSMTP нужно ещё раз рестартить руками для запуска spamProtexx.

Что за проблема не понятно, с popFile'ом такого никогда не было.
wikipost
ac09.12.2009 13:11
el_sergano пишет: После каждого перезапуска сервера почты, spamProtexx стабильно не стартует

Перезагрузки Windows или просто рестарта acSMTP?

Что в acSMTP.log, когда SpamProtexx не стартует?
wikipost
el_sergano09.12.2009 13:36
ред: 09.12.2009 13:37
Имеется ввиду перезагрузка железки, по мнению acSMTP.log у нас всё хорошо.
wikipost
el_sergano09.12.2009 13:45
Наткнулся на какой-то тонкий момент, UsePopFile в веб косоли показывает статус 0, а в Eserv3.ini " [SMTP] UsePopFile=1 ".
Эти два места никак не связаны?
wikipost
ac09.12.2009 13:50
ОК, выясню в Агаве, что может мешать инициализации SP при старте системы. Пришлите на support@eserv.ru свой ключ — я заодно выясню, что означает загадочное "my company abuse", почему он так на Агаве активировался.
wikipost
ac09.12.2009 13:53
el_sergano пишет: Наткнулся на какой-то тонкий момент, UsePopFile в веб косоли показывает статус 0, а в Eserv3.ini " [SMTP] UsePopFile=1 ".
Эти два места никак не связаны?

Связаны. Веб-интерфейс из Eserv3.ini и берет этот параметр. Любопытно, как они могут отличаться. В веб-интерфейсе в каком месте показывается "0" — в "Опциях и списках / SMTP" ?
wikipost
el_sergano09.12.2009 14:43
Опции списки Eserv 3.0 / SMTP / UsePopFile 0
Eserv3.ini UsePopFile=1

На сайте прочитал про то, что в Eserv3.ini надо дописывать SMTP [UseSpamProtexx] ?, а дальше =1 ?

Может мне ini файл немного подредактировать руками: вместо usePopFile=1 добавить UseSpamProtexx=1, потому что в ini такой записи нет вообще...
wikipost
ac09.12.2009 14:53
Не надо ничего руками редактировать. Прямо в веб-интерфейсе исправьте опцию, если она не та, что должна быть, и это запишется в Eserv3.ini, если отличается от значения по умолчанию, которое в Eserv3.orig.ini.
wikipost
el_sergano09.12.2009 15:28
Извиняюсь я не туда смотрел, в Eserv3.ini всё как в вэб консоли...
wikipost
el_sergano10.12.2009 15:39
ред: 11.12.2009 17:08
    Добрый день! Eserv работает SMTP релеем для внутреннего Exchange сервера, некоторые почтовые ящики там, а некоторые в Eserve.

Ситуация: Письма со статусом Unclassified, теперь попадают в папку Unclassified>Inbox, если руками переместить письмо в папку NOT_SPAM, то письмо должно попасть в папку INbox кому было адресовано НО в Eserve, а с Exchange всё плохо, потому что письмо остаётся в папке reclassify и больше никуда не двигается, т.е. механизм пересылки другому SMTP серверу ему не ведом...
Про spamprotexx могу сказать, что его база стала расти, с момента начала ручной сортировки, прибавала уже пол метра минимум, а прошло всего дня 3-4 максимум.
wikipost
ac11.12.2009 17:43
ред: 11.12.2009 17:45
Unclassified-письма никуда повторно отправлять не надо, т.к. они и так идут прямиком идут получателям. Задерживается только спам.

А при перемещении из "spam" в "not_spam" производится повторная отправка письма, т.е. оно должно попасть к тому получателю, к которому шло изначально, независимо от того, где его ящик — локально или на другом сервере.

Попробуйте отследить: при перемещении письмо сначала кладётся в каталог ResendDir (ResendDir={Smtp[Out]}\127.0.0.1\25\{SMTP[ReturnFromEmail]}!{GetRndFilename}.eml), оттуда внутренним планировщиком отправляется через локальный сервер исходному получателю (лог этой пересылки будет в DATA\temp).
wikipost
el_sergano14.12.2009 09:55
ред: 14.12.2009 10:57
Проанализировав эти логи, утверждаю — туда вообще ничего не попадает, связанное с внутренней переклассификацией. Там все логи об отправке на внешние SMTP серверы.
wikipost
pig14.12.2009 11:31
Уточните:
el_sergano пишет: если руками переместить письмо в папку NOT_SPAM

Руками — это через IMAP или совсем руками?

el_sergano пишет: письмо остаётся в папке reclassify

IMHO, при переклассификации через IMAP письмо ни в какой reclassify попадать не должно. Оно там появляется при проталкивании отправителем через веб, но это не наш случай.
wikipost
el_sergano14.12.2009 14:23
Да речь идёт про папки IMAP в клиенте Outlook 2003.
Да письма после перетаскивания появляются только в папке Reclassify\ambiguous и больше никуда не идут. Выяснил интересный нюанс, все temp логи говорят о том, что письма посылаются во ВНЕ из-за того, что устарело время создания письма и Exchange эту почту не принимает, а Eserv пытается эти сообщения отправить отправителям. Короче говоря почта полученная вчера уже сегодня не имеет возможности дойти до получателя в Exchange, из-за того что валялась в папке Unclassify.

В связи с этим прошу подсказать как переправить правило так, чтобы письма со статусом Unclassify проходили в две папки: прям сразу пользователю и копия в Unclassify, возможность учить spamProtexx руками.
wikipost
pig14.12.2009 15:58
ред: 14.12.2009 16:00
Так оно вроде всегда так и было. Unclassified — это же не спам, оно чистой почтой считается. Да и спам по умолчанию тоже пользователю доставляется. Такое впечатление, что это у вас в правилах что-то специфические накручено.

el_sergano пишет: письма после перетаскивания появляются только в папке Reclassify\ambiguous

Значит, письма всё-таки проходят через SMTP-сервер — в эту папку их может только он запихать. И у вас почему-то настроена фильтрация спама для локальных отправителей. Перепосылка, по идее, должна выполняться без фильтрации, поскольку один раз письмо через фильтр уже прошло, а вы его руками в правильном направлении толкнули.

Я бы ещё настройки Exchange поковырял. Не дело отпинывать письма, даже если они по каким-то (как мы видим, вполне уважительным) причинам подзадержались в пути.
wikipost
el_sergano14.12.2009 16:09
SpamProtexx продолждает не запускаться после полного ребута сервера, узнал такую подробность про popFile, раньше он не запускался из-за большого размера баз. В spamProtexx у нас основная быза занимает примерно 12 Мб, а relearn 25 Мб.

Белый список Email получателей не работает. Добавляю ящик пользователя и по логу 200912mail.ru вижу, что spamProtexx весьма удачно фильтрует почту и создана папка spam для этого пользователя.
wikipost
el_sergano14.12.2009 16:16
ред: 14.12.2009 16:23
pig пишет: Unclassified — это же не спам, оно чистой почтой считается


Ac потихоньку подсказывает, что покрутить, именно про это тут сверху есть.

Вопрос в том как переписать правило, чтобы почта со статусом unclassify после spamProtexx шла и в юзербокс и в IMAP папку Unclassify, посредством прямой отправки в юзербокс избегаем проблем с exchange'м, и юзерам спокойнее, если есть спам — значит почта работает.

Я уже писал, по моим личным наблюдениям ручное обучение spamProtexx более эффективное, чем от popFile, база relearn от spama после выходных поправилась на пол метра.

По большому счёту нужно сделать режим обучения spamProtexx более похожим на popFile, чем щас.
wikipost
ac14.12.2009 18:45
el_sergano пишет: SpamProtexx продолждает не запускаться после полного ребута сервера

По этому вопросу жду подсказки из Агавы (отправил вопрос на прошлой неделе).
el_sergano пишет: Белый список Email получателей не работает.

Приведите, пожалуйста, белый список и SMTP-лог, где он должен был сработать, но не сработал (можно выслать на support@eserv.ru).

el_sergano пишет: Вопрос в том как переписать правило, чтобы почта со статусом unclassify после spamProtexx шла и в юзербокс

ac пишет: Unclassified-письма и так идут прямиком идут получателям.
wikipost
pig14.12.2009 18:47
el_sergano пишет: Вопрос в том как переписать правило, чтобы почта со статусом unclassify после spamProtexx шла и в юзербокс и в IMAP папку Unclassify

AntispamPopFile[CopyUnclassifiedToTrainer] >FLAG | MESSAGE-CLASS =~ unclassified | AntispamPopFile[TrainerEmail] AddRcpt


el_sergano пишет: По большому счёту нужно сделать режим обучения spamProtexx более похожим на popFile, чем щас.

А в чём там "щас" есть разница? То же самое таскание из папки в папку.

el_sergano пишет: Белый список Email получателей не работает. Добавляю ящик пользователя и по логу 200912mail.ru вижу, что spamProtexx весьма удачно фильтрует почту и создана папка spam для этого пользователя.

Белых списков получателей два. Какой именно меняете?
wikipost
el_sergano15.12.2009 10:51
Вэб консоль\Управление доступом\Белый список Email получателей.
Описание: Cписок адресов, почта для которых принимается в любом случае, независимо от других условий и настроек.

Белый список popFile больше не доступен, а именно он и был настроен. Ещё есть механизм основанный на списках из файлов, spamProtexx обрабатывает и его, но мне больше интересен именно Белый список. Больше вариантов я не нашёл.

pig пишет: А в чём там "щас" есть разница?
Например: папку Unclassified пытаемся прикрутить от popFile; в вэб-консоли нет никаких настроек от spamProtexx, таких же как у popFile; попытка настроить белые списки Eserv'a закончилась неудачей, а у popFile есть белые списки.
wikipost
pig15.12.2009 11:21
el_sergano пишет: Белый список popFile больше не доступен

Почему? Должен быть доступен, он на все антиспамы работает.

el_sergano пишет: папку Unclassified пытаемся прикрутить от popFile

На самом деле это ящик "тренера", которому пофиг, какой конкретно антиспам обучать, он к POPfile не привязан.
wikipost
ac15.12.2009 15:38
ac пишет: el_sergano пишет: Белый список Email получателей не работает.

Приведите, пожалуйста, белый список и SMTP-лог, где он должен был сработать, но не сработал (можно выслать на support@eserv.ru).

Получил. ToEmailWhiteList — это для исключения адресов из DNS-проверок и IP-адреса из RBL-проверок.

А для исключения письма из байес-проверок — PopFileIpWhiteList, PopFileFromWhiteList, PopFileToWhiteList — они хоть и имеют "PopFile" в названии, действуют на все байесы. Просто PopFile исторически был первым, а потом списки не переименовывались — для обратной совместимости.
wikipost
el_sergano17.12.2009 10:16
Обратно включил popFile, сейчас система работает тандемом с учителем, судя по логам 200912mail_sp.txt и 200912mail.txt получается, что после ребута сервера spamProtexx запустился сам и чувствует себя вполне комфортно. Может мне всё таки переслать вам наши языковые базы от spamProtexx'а?

Агаву мы можем ждать очень долго, но ведь системы на тестах у всех будут разные...
wikipost
ac17.12.2009 16:17
el_sergano пишет: тандемом с учителем, после ребута сервера spamProtexx запустился сам

Выходит, что задержка, которую вносит PopFile в цепочку загрузки plugin'ов, помогает SpamProtex'у загрузиться? Можно добавить vDebugRules ON в начале файла acSMTP\conf\OnStartupPlugins.rules.txt чтобы вычислить эту задержку, потом можно будет поставить просто паузу на заданное время вместо загрузки PopFile — для проверки гипотезы.
wikipost
el_sergano19.12.2009 15:19
ред: 19.12.2009 15:22
В одиночку spamProtexx оказался слишком суровым, заблокировал белое письмо с коэффициентом 0,85, придётся оставить тандем, а то письмо не дошло руководству с вытекающими для меня и судьбы спамфильтра )).
Расскажите по подробнее про механизм переклассификации popFile, основанный на ссылке в теле письма на переклассификацию.
На практике получается, что как только мы тыкали на вебссылку ссылку в письме отправителя, полученное от сервера, то его(отправителя) письмо на сервере сразу попадало в папку popFile\Входящие, а что тогда делает кнопка на этой странице не понятно?! В любом случае, какой-то процес получается задвоен. Может её вобще удалить? Есть ещё какие-то скрытые процессы? В общем хочу подробное описание техпроцесса переклассификации, а то слишком много нюансов...
wikipost
el_sergano21.12.2009 11:08
У меня смешной вопрос, Вы можете сделать вэб переклассификатор для spamProtexx'а?
wikipost
ac21.12.2009 16:45
Веб-интерфейс для Spamprotexx'а давно сделан — это AAG (Agava Antispam Gateway — антиспам шлюз на базе Eserv и Spamprotexx) — программа рассчитана как раз на такое использование, как вы используете Eserv.
wikipost
el_sergano22.12.2009 10:25
ред: 22.12.2009 10:28
Eserv мы использовали всё-таки больше, как почтовый сервер, это щас он почти стал шлюзом, но это ещё до сих пор почтовый сервер.
Уважаемый Андрей, дайте ответ на первый вопрос, помоему ситуацию я описал достаточно подробно, добавить ничего не могу... ))

PIG спрашивал в чём "разница", так вот это, на данный момент, коренное отличие в управлении popFile и spamProtexx!
wikipost
el_sergano22.12.2009 17:39
Уважаемый PIG, немогли бы вы по подробнее осветить сабж:
http://forum.eserv.ru/E2/Eserv 2 support/67d9251044a1b164f15708f30a853458 там из описания очень мало, а очём речь идёт не понятно, вроде про тоже самое.

Судя по этим записям у нас аналогичная ситуация, может это не Exchange не примает старые письма, а Eserv не отправляет?

Это пример лога из папки Temp, после перекладки письма в NOT_SPAM. Т.е. письмо летит в локальный Exchange.

250 привет [ip]
MAIL FROM:<noreply@mailer.booking.com>
250 2.1.0 noreply@mailer.booking.com....Sender OK
RCPT TO:<postmaster@localhost>
550 5.7.1 Unable to relay for postmaster@localhost
]]>
<s:ior>Error: 550
<s:err>ERR:550
<s:return>Return to sender (old message). 8
<s:return>Return to sender.
..\DATA\mail\out\123.mydom.ru\25\noreply@mailer.booking.com!2786!41809546!2.eml
<s:result>FAILED.
Error code: -5009
wikipost
ac22.12.2009 18:33
el_sergano пишет: Расскажите по подробнее про механизм переклассификации popFile, основанный на ссылке в теле письма на переклассификацию.
На практике получается, что как только мы тыкали на вебссылку ссылку в письме отправителя, полученное от сервера, то его(отправителя) письмо на сервере сразу попадало в папку popFile\Входящие, а что тогда делает кнопка на этой странице не понятно?! В любом случае, какой-то процес получается задвоен. Может её вобще удалить?

При нажатии на ссылку "проталкивания" производится копирование в каталог reclassify (для админа), а также повторная отправка (через копирование в каталог out). А кнопка на странице — для обучения фильтра (чтобы в следующий раз на аналогичном письме не ошибался, даже если админ ничего не делает с reclassify).

el_sergano пишет: PIG спрашивал в чём "разница", так вот это, на данный момент, коренное отличие в управлении popFile и spamProtexx!

Так и не понял, какую разницу вы имеете в виду. Обучение всех фильтров и механизм проталкивания реализован одинаково.
wikipost
ac22.12.2009 18:39
el_sergano пишет: Это пример лога из папки Temp, после перекладки письма в NOT_SPAM. Т.е. письмо летит в локальный Exchange.

Это очевидно не все, что появляется в Temp после такого действия. Т.к. это уже попытка возврата почты, которую невозможно доставить. Точнее это уже "возврат возврата", т.к. попытка возврата тоже похоже не удалась. Отсортируйте по дате и посмотрите соседние логи, предшествующие этому.
wikipost
ac22.12.2009 18:42
el_sergano пишет: Eserv мы использовали всё-таки больше, как почтовый сервер, это щас он почти стал шлюзом, но это ещё до сих пор почтовый сервер.

В смысле вы пытались перейти с Eserv на Exchange, но Exchange не смог нормально работать на MX? Иначе какой смысл держать два почтовых сервера рядом?
wikipost
pig22.12.2009 19:35
el_sergano пишет: немогли бы вы по подробнее осветить сабж

В принципе, возврат по старости действительно возможен, если письмо провалялось несколько дней и было подложено в очередь доставки руками. Но при проталкивании через web файл письма создаётся заново, то есть, дата-время файла у него свежие. При перекладывании через IMAP перепосылка выполняется через переименование файла, но сам файл при этом новый, только что созданный в IMAP-папке. Так что в данном случае мимо.
wikipost
el_sergano23.12.2009 14:48
ред: 23.12.2009 14:51
pig пишет: MAP перепосылка выполняется через переименование файла, но сам файл при этом новый, только что созданный в IMAP-папке

И как это посмотреть?
Проанализировав логи в папке temp, нашёл ещё один (время создания на час раньше) файл, где всё тоже самое (того же отправителя noreply@mailer.booking.com), только сообщение "<s:return>Return to sender (old message). 1" — два раза, разница в цифре на конце (во 2-ом файле 8 ) Т.е. я просто уверен, что идёт попытка пропихнуть именно старое сообщение не создавая новое, вопрос в том, куда? Почему после того как по IMAP я переношу письмо в папку NOT_SPAM в итоге получаю процесс отправки создателю письма, раз это происходит — значит новое письмо точно не создаётся и все реквизиты берутся из старого.

ac пишет: Так и не понял, какую разницу вы имеете в виду. Обучение всех фильтров и механизм проталкивания реализован одинаково.

Если оставить один spamProtexx, то у пользователя нет возможности произвести переклассификацию через веб механизм, что и вызывает трудности с неполученными сообщениями или я ошибаюсь.

ac пишет: При нажатии на ссылку "проталкивания" производится копирование в каталог reclassify (для админа), а также повторная отправка (через копирование в каталог out). А кнопка на странице — для обучения фильтра (чтобы в следующий раз на аналогичном письме не ошибался, даже если админ ничего не делает с reclassify).

Т.е. если я правильно понял, то письмо направляется в 2 папки точнее юзербоксу и в popFile_admin\Входящие. Вопрос — а зачем оно нужно в папке popFile_admin\Входящие?
Что с ним там делать, если пользователь его уже получил и переклассификацию произвёл.

ac пишет: В смысле вы пытались перейти с Eserv на Exchange, но Exchange не смог нормально работать на MX? Иначе какой смысл держать два почтовых сервера рядом?

Есть несколько функций в Eserve, которые по организации гораздо проще, чем в Exchange. ))
wikipost
pig23.12.2009 18:39
el_sergano пишет: нашёл ещё один (время создания на час раньше) файл, где всё тоже самое (того же отправителя noreply@mailer.booking.com), только сообщение "<s:return>Return to sender (old message). 1"

А теперь смотрите логи по времени назад — есть там попытки отправки этого же самого письма? Там в самом начале уникальное имя файла.

el_sergano пишет: Если оставить один spamProtexx, то у пользователя нет возможности произвести переклассификацию через веб механизм,

Откуда это следует? Ваше реальное наблюдение?

el_sergano пишет: письмо направляется в 2 папки точнее юзербоксу и в popFile_admin\Входящие

Кто такой popFile_admin? Ткнув пальцем в белый свет, рискну предположить, что это ящик, куда копируются для обучения сомнительные письма. Если это происходит при перепосылке, то у вас не по делу локально доставляемые письма повторно проверяются антиспамом, чего при правильных настройках быть не должно.
wikipost
el_sergano24.12.2009 12:41
ред: 24.12.2009 12:43
pig пишет: А теперь смотрите логи по времени назад

Мой игровой стенд показывает следующее: Если письмо по Imap переложить в imap папку NOT_spam, то в логах темп никаких записей про попытку отправить само письмо куда-то дальше нет, соответственно как проверить дошло письмо до конечного адресата или нет не понимаю. А вот если вручную скопировать письмо в папку out\myexch\25, то в логе появляется запись про "-5009 Old message". Это понятно, письмо старое в режиме "все вон".

Вопрос: что происходит с письмом после перемещения его в папку Not_spam, только обучение словарных баз и оно никуда не посылается? Т.е. если пиьсмо попадает в папку spam (у нас она одна для всех, а не у всех своя), то мало того что я перемещаю это письмо в папку NOt_spam, его необходимо переслать адресату через клиент вручную?

el_sergano пишет: а также повторная отправка (через копирование в каталог out)
Т.е. конечный пользователь своё письмо всё-таки получит, а если переклассификация будет через день или два, то опять -5009? Копирование в каталог reclassify просто уведомление ?

pig пишет: Кто такой popFile_admin?

Извиняюсь, это оказывается не встроенная функция.
Суть методы — юзербокс popFile_admin это reclassify, только смотреть можно по Imap.

pig пишет: Откуда это следует? Ваше реальное наблюдение?

Ммм, ногами не бить, это я вместо AntispamSpamProtexx\PopFileTrainer включил AntispamPopFile\TrainingMode. Результат соответствующий )).
wikipost
pig24.12.2009 19:00
el_sergano пишет: Если письмо по Imap переложить в imap папку NOT_spam, то в логах темп никаких записей про попытку отправить само письмо куда-то дальше нет

А из какой папки перекладывали?

el_sergano пишет: пиьсмо попадает в папку spam (у нас она одна для всех, а не у всех своя),

Письмо там именно в папке spam лежит или в какой-то подпапке? Письмо перепосылается, если его переместили конкретно из папки spam (неважно, какой полный путь, сервер смотрит имя нижнего уровня).

el_sergano пишет: я вместо AntispamSpamProtexx\PopFileTrainer включил AntispamPopFile\TrainingMode.

Режим обучения — это невыдача отказов отправителю даже при детекте спама. Выключите — пойдут отказы со ссылками.
wikipost
el_sergano25.12.2009 10:26
ред: 25.12.2009 10:27
pig пишет: А из какой папки перекладывали?

Попробовал из imap папки spam\spam, тоже ничего не приходит.
Суть в том, что после вэб переклассификации юзером, его письмо не доходит до конечного юзербокса, это письмо попадает только в папку reclassify\inbox и на этом фсё.
Причём не важно юзербокс в Eserve или Exchange, результат одинаковый — писем нет.
wikipost
pig25.12.2009 18:45
el_sergano пишет: после вэб переклассификации юзером, его письмо не доходит до конечного юзербокса

Eserv3.ini, секция [Antispam], параметры ResendDir и ResendOnWebRC — что там у вас?

На всякий случай, сразу: посмотрите в папке DATA\mail\out\127.0.0.1\25\ — там что-то есть?
wikipost
el_sergano28.12.2009 10:26
ред: 28.12.2009 16:18
ResendDir — {Smtp[Out]}\127.0.0.1\25\{SMTP[ReturnFromEmail]}
ResendOnWebRC = 0
Папка 127,0,0,1 забита сообщениями abuse@mydom.ру!нечто.eml. Присмотревшись могу сказать, что большинство из них спам с текстом сообщение к jogn@yachtshop.ru датированное Sun, 27 Dec 2009 10:35:33 +0300 с темой 'Новогодний вечер для руководителей компаний' не удалось доставить за 4 часа(ов). Но отправлять его заново не нужно, т.к. ошибка не фатальная, и я буду продолжать попытки отправки. Если доставить не удастся, вы получите отдельное уведомление.
Но есть похожие и на белую почту, но не факт.
ResendOnWebRC включил, но почты всё равно нет.
Что делать?
Из описания в Eserv'е: повторная отправка будет только в случае, если администратор перенесет из Reclassify в not_spam. — но ведь почта после вэб переклассификации попадает в Reclassify\inbox, а вы сказали, что работает только перемещение из папки SPAM, хотя у нас вообще ни откуда не работает. ))
wikipost
pig29.12.2009 04:21
ред: 29.12.2009 04:23
el_sergano пишет: ResendDir — {Smtp[Out]}\127.0.0.1\25\{SMTP[ReturnFromEmail]}

Это всё? Правильное значение:
{Smtp[Out]}\127.0.0.1\25\{SMTP[ReturnFromEmail]}!{GetRndFilename}.eml

Значит, письма на локальную доставку есть. Если по времени создания файлов посмотреть — совпадающие с фактом переклассификации чрез IMAP и соответствющего содержания.
А что у вас в списке EmailSmtpForward.txt? Похоже, что очередь локальной доставки не обрабатывается.
wikipost
el_sergano29.12.2009 10:27
ред: 29.12.2009 13:38
pig пишет: Это всё? Правильное значение:

Понятно, я выделял строку с конца видимого диапазона, целиковая строка идентична вашему примеру.
pig пишет: овпадающие с фактом переклассификации чрез IMAP и соответствющего содержания.

Не совпадают, например вчера по Imap попытки делал сам, а в папке 127,0,0,1\25 совсем ничего нет за это время...
pig пишет: EmailSmtpForward.txt

Перенаправления ящиков на другой сервер, каждого ящика индивидуально.
P.S.
el_sergano пишет: Но отправлять его заново не нужно, т.к. ошибка не фатальная, и я буду продолжать попытки отправки. Если доставить не удастся, вы получите отдельное уведомление.
Это не про наш случай, не обращайте внимание!
wikipost
pig29.12.2009 18:32
el_sergano пишет: Перенаправления ящиков на другой сервер, каждого ящика индивидуально.

А такая строка есть?
"(for returned mail only)";127.0.0.1;25;;;

За локальную доставку она отвечает.
wikipost
el_sergano15.01.2010 14:17
pig пишет: А такая строка есть?

Есть.
wikipost
Работает на Eserv/5.05567 (10.02.2020)